[レポート] SnowflakeとAWSのセキュアでスケーラブルな生成AI活用のアーキテクチャについて学ぶ #AWSreInvent #AIM267

データ事業本部 機械学習チームの鈴木です。

AWS re:Invent 2024の、セッション番号AIM267の『Unleashing gen AI: Secure & scalable architectures with Snowflake & AWS』を聴講したのでレポートです。

Snowflake内にあるデータをAWSの機能と組み合わせてどのように利用できるか、アーキテクチャ例や簡単なデモを通して学ぶことができました。

オンデマンド動画

https://www.youtube.com/watch?v=bl_mYQYNNKA

概要・ポイント

SnowflakeはAWSの多くの機能とのネイティブな統合を持っています。そもそもSnowflakeはプラットフォームとしてAWSを選択することができますが、例えば外部ステージとして設定することでS3のデータを直接読み込むことができるなど、非常に親和性高く利用することができます。

このほかにも、AWS GlueからSnowflakeへ接続するための仕組みが用意されていたり、

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-programming-etl-connect-snowflake-home.html

re:Invent2024で発表されたSageMaker LakehouseでもSnowflakeへの接続が用意されています。（記事執筆時点ではプレビュー提供）

https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/lakehouse-data-connection.html#lakehouse-data-connection-supported

SnowflakeはAIデータクラウドであり、独自でLLMや機械学習、データメッシュなど幅広い機能をカバーしています。そのため一見AWSの機能と競合するように見えることがありますが、両者は組み合わせて利用することができます。この発表ではそのアーキテクチャ例も学ぶことができました。

また、Amazon Q BussinessからSnowflakeのデータを利用するデモもみることができました。Amazon QのCustom PluginとAPI GatewayおよびLambdaを使用して、SnowflakeのCortex Searchよりデータを使っていました。

最後に

Snowflake・AWS双方を主としたアーキテクチャ例が示されておりとても参考になりました。

また、Amazon Q Bussinesからカスタムプラグインでデータを利用する方法もデモで紹介されており、関心がある方がいればぜひご確認頂ければと思います。